La fonction Softmax
*******************

Introduction
============

Définition
----------

Dans le problème de la classification d'images, le réseau
de neurones associe à chaque image plusieurs valeurs dans :math:`\mathbb{R}`. 
Ces paramètres indiquent une sorte de score pour chaque catégorie étudiée.
Il est cependant difficile d'interpréter les valeurs obtenues. 
On peut cependant intuiter qu'une  valeur supérieure aux autres correspond à une catégorie plus probable, 
mais que dire des nombres négatifs ou nuls ?
Il existe une fonction très répandue dans le monde de l’apprentissage : la fonction *Softmax* qui permet de transformer
toute série de valeurs en une série de probabilités. 
Nous donnons sa définition ci-après pour des valeurs  :math:`X=(x_j)_{0\le j<n}` en entrée :

	
.. math::

   Softmax\left(X\right)= 	[ \exp(x_0), \ldots, \exp(x_i), \ldots, \exp(x_{n-1}) ] . \frac{1}{\sum_{j=0}^{n-1}{\exp(x_j)}}  

Remarques :

   * Les valeurs en sortie de la fonction *Softmax* sont positives (propriété de la fonction exponentielle).
   * Les valeurs en sortie sont inférieures ou égale à 1 (le dénominateur étant supérieur ou égal au numérateur)
   * La somme des valeurs en sortie de la fonction *Softmax* est égale à 1.

Par conséquent, nous pouvons énoncer la propriété suivante :

.. panels::

	:column: col-lg-10 p-2
	
	La fonction *Softmax* associe à une série de valeurs quelconques une distribution de probabilités. 
	
	
Voici un exemple de calcul dans le tableau ci-dessous :

.. math::

	\begin{array}{c|c|c|c}& Input & exp(x_i) & Total &  exp(x_i)/Total\\
	\hline x_0 & -1 & 0,368 &        &  1,59\% \\
	       x_1 &  1 & 2,718 & 23,172 & 11,73\% \\
	       x_2 &  3 & 20,08 &        & 86,68\%  \\
	\hline 
	\end{array}
	
Propriétés
----------

Propriété 1
^^^^^^^^^^^

La fonction *Softmax* présente certains avantages :

   * qu’elle que soit le signe des valeurs en entrée,
   * qu’elle que soit l’ordre de grandeur des valeurs d’entrée (autours de 1/100 ou d'un million),
   * qu'elle que soit l'écart de grandeur entre les différents paramètres,
   
la fonction *Softmax* construit toujours une distribution de probabilités. 

Propriété 2
^^^^^^^^^^^

La fonction exponentielle est une fonction croissante. Ainsi, plus une valeur d’entrée est grande par rapport aux autres, plus la probabilité associée à sa catégorie augmente, les autres probabilités se voyant diminuer. Prenons un exemple sur un cas simple :

.. math::

	\begin{array}{c|c|c} Input & exp(x_i) & Total &  Prob_i\\
	\hline  -1 & 0,368 &        &  1,59\% \\
	         1 & 2,718 & 23,172 & 11,73\% \\
	         3 & 20,08 &        & 86,68\%  \\
	\hline 
	\end{array}

 
Si la deuxième valeur en entrée passe à 2, nous obtenons une nouvelle série de probabilités :

.. math::

	\begin{array}{c|c|c} Input & exp(x_i) & Total &  Prob_i\\
	\hline  -1          & 0,368 &        &  1,32\% \\
	         \textbf{2} & 7,389 & 27,842 & 26,54\% \\
	         3          & 20,08 &        & 72,14\%  \\
	\hline 
	\end{array}


En passant de 1 à 2, la probabilité augmente de 11,75% à 26,54%. Les deux autres probabilités dont les valeurs d’entrée sont inchangées diminuent, il y a eu une forme de rééquilibrage.
Lorsque l’on utilise la fonction *Softmax*, on peut voir les valeurs d’entrée comme des intensités. Plus l’intensité est importante, plus la probabilité associée est importante. Ainsi la *Softmax* s’adapte et construit intelligemment une liste de probabilités cohérentes.


Propriété 3
^^^^^^^^^^^

Nous pouvons énoncer une proprété importante de la fonction *Softmax* :

.. panels::

	:column: col-lg-10 p-2

	Les probabilités issues de la fonction *Softmax* sont invariantes par ajout d’une constante.

Cette propriété vient de la définition de la fonction *Softmax*, en effet, en posant :math:`{x^\prime}_i=x_i+c`, nous avons pour la i-ème valeur en sortie :

.. math::

   Softmax_i\left(X^\prime\right)=\frac{\exp(x_i+c)}{\sum_{j}{\exp(x_j+c)}}=\ \frac{\exp{\left(x_i\right)}.\exp(c)}{\sum_{j}{\exp{\left(x_j\right)}.\exp(c)}}=\ Softmax_i\left(X\right)

    
Pour tester cette propriété, reprenons l’exemple précédent : 

.. math::

	\begin{array}{c|c|c} Input & exp(x_i) & Total &  Prob_i\\
	\hline  -1 & 0,368 &        &  1,59\% \\
	         1 & 2,718 & 23,172 & 11,73\% \\
	         3 & 20,08 &        & 86,68\%  \\
	\hline 
	\end{array}

En décalant de 10 les valeurs d'entrée, nous remarquons que les 
probabilités obtenues restent inchangées :
 
.. math::
	\begin{array}{c|c|c} Input & exp(x_i) & Total &  Prob_i\\
	\hline  9  &   8103,1 &          &  1,59\% \\
	        11 &  59874,1 & 510390,6 & 11,73\% \\
	        13 & 442413,4 &          & 86,68\%  \\
	\hline 
	\end{array}

  
	
Remarque
--------

Peut-être pensez-vous qu’une formule plus simple comme :  

.. math:: 

	S(X)=[ x_0, \ldots, x_i, \ldots, x_{n-1} ] . \frac{1}{\sum_{j=0}^{n-1} x_j}

aurait largement suffi pour construire une liste de valeurs de somme égale à 1. Mais en pratique, des problèmes persistent : 

   * Avec cette formule simplifiée, les valeurs en entrée doivent être positives sinon on pourrait obtenir des probabilités négatives, ce qui est impossible. 
   * Avec cette formule simplifiée, il faut être sûr que les valeurs d’entrée soient toutes non nulles sinon on obtient une division par zéro. Il n'est pas facile de gérer cette contrainte. En comparaison, la fonction *Softmax* associe à une série de valeurs nulles des probabilités équiprobables. 
   * Avec la formule simplifiée, les valeurs (1,1,2) donnent les probabilités en sortie de 25%, 25% et 50%. Les valeurs (100,100,101) produisent des résultats proches de l’équiprobabilité. Une constante additive présente dans les valeurs d’entrée influence donc beaucoup les probabilités  construites. En comparaison, la fonction *Softmax* ne souffre pas de ce défaut. Ainsi, la fonction *Softmax* réjecte tout biais dans les valeurs d'entrée, ce qui est pratique car les valeurs en entrée ne sont pas forcément centrées sur 0.
   
Si la formule simplifiée semble plus facile à mettre en œuvre au premier abord, son utilisation s’avère bien plus contraignante. 


.. quiz:: Softmax1
	:title: Calcul du Softmax
	
	Pour le tenseur d'entrée suivant, calculez les probabilités obtenues en sortie grâce à l'application de la fonction *Softmax*. Donnez les valeurs en pourcent avec 2 chiffres :

	.. csv-table::
		:header: :math:`x_i`, Probabilités
		:widths: 10, 10
		:delim: !
	
		:math:`ln(1)`	! :quiz:`{"type":"FB","answer":"20"}` 		 
		:math:`ln(1)` 	! :quiz:`{"type":"FB","answer":"20"}`	 	 
		:math:`ln(3)`	! :quiz:`{"type":"FB","answer":"60"}`	 	 

.. quiz:: Softmax2
	:title: La fonction Softmax
	
		:quiz:`{"type":"TF","answer":"F"}` Si une valeur d'entrée :math:`x_i` diminue et que les autres restent identiques, alors sa probabilité  augmente.  
		  
		:quiz:`{"type":"TF","answer":"F"}` Les probabilités associées aux valeurs *[2,8,9]* sont les mêmes que celles associées aux valeurs *[4,16,18]*.  
		
		:quiz:`{"type":"TF","answer":"T"}` Des valeurs en entrée *[1,1,1,1]* donnent des probabilités équiprobables. 
		
		:quiz:`{"type":"TF","answer":"F"}` Si une valeur d'entrée :math:`x_i` double, alors sa probabilité associée double aussi.
		
		:quiz:`{"type":"TF","answer":"T"}` La fonction *Softmax* peut gérer des entrées avec des valeurs négatives. 
		
		:quiz:`{"type":"TF","answer":"F"}` Si toutes les valeurs d'entrée sont strictement négatives, alors l'évaluation de la fonction *Softmax* produit une erreur d'exécution.
		
		
		:quiz:`{"type":"TF","answer":"T"}` Les probabilités associées aux valeurs *[2,8,9]* sont les mêmes que celles associées aux valeurs *[12,18,19]*.  
		
		:quiz:`{"type":"TF","answer":"T"}` Si une valeur d'entrée reste constante et que toutes les autres valeurs diminuent, alors sa probabilité  augmente.  
		
		
 




Instabilité numérique
=====================

**Cette partie est réservée aux curieux, elle peut être sautée pour ceux qui sont en retard.**

La fonction *Softmax* peut être sujette à des instabilités numériques. 
Pour rappel, voici la formule donnant la i-ème composante de la fonction *Softmax* :

.. math::

  Softmax_i (X)=\frac{\exp(x_i)}{\sum_{j}{\exp(x_j)}}


La première source de problème provient des exponentielles présentes dans la fonction. 
Car avec une fonction exponentielle, les grandeurs peuvent grimper vite, très vite. 
Or, les calculs dans le réseau sont faits en Float32 pouvant au maximum représenter la valeur :math:`3.402823\mbox{E}\texttt{+} 38`. Ainsi, il suffit qu’une entrée de la fonction *Softmax* soit supérieure à :math:`ln(3.402823\mbox{E}\texttt{+}38)\sim 88.72` pour que le résultat de l’exponentielle soit égal à *+∞*. La suite des calculs sera forcément erronée. Voici un exemple :


.. math::
	\begin{array}{c|c|c} x_i & exp(x_i) & exp(x_i) \mbox{ en Float32} \\
	\hline  80 & 5,540622\mbox{E}\texttt{+}34 & 5,540622\mbox{E}\texttt{+}34 \\
	        89 & 4,489613\mbox{E}\texttt{+}38 & +\inf \\
	        90 & 1,220403\mbox{E}\texttt{+}39 & +\inf  \\
	\hline 
	\end{array}


	
Pour éviter le problème de saturation à l’infini, nous allons soustraire à l’ensemble des valeurs :math:`x_i` le maximum des :math:`x_i` noté *c* pour obtenir une série de nouvelles valeurs notées :math:`x'_i`. Ce décalage, suivant les propriétés de la fonction *Softmax*, ne change pas les valeurs des probabilités. Ainsi, nous évitons, avec cette astuce, toute saturation :


.. math::

	\begin{array}{c|c|c|c|c|c} x_i & c & x'_i=x_i-c & exp(x'_i) & Total &  Prob_i\\
	\hline  80 &    &  -10   &  4,54\mbox{E}\texttt{-}05 &          & 0,003\%  \\
	        89 & 90 &   -1   &  0,367879        & 1,367925 & 26,893\% \\
	        90 &    &    0   &  1               &          & 73,103\% \\
	\hline 
	\end{array}


	
Une fois cette première astuce utilisée, nous allons rencontrer un autre problème pour les exposants avec une valeur négative forte. 
En effet, en Float32, le plus petit nombre positif représentable est :math:`m=1,4\mbox{E}\texttt{-}45`. Ainsi, lorsqu’il existe une valeur :math:`x_i` telle que :math:`x_i < c-ln(m) = c-103`, nous allons obtenir un résultat nul. Voici un exemple :


.. math::

	\begin{array}{c|c|c|c|c|c} x_i & c & x'_i=x_i-c & exp(x'_i) & Total &  Prob_i\\
	\hline  2   &     &  -108  &  0          &          & 0 \%  \\
	        108 & 110 &   -2   &  0,135335   & 1,135335 & 11.92\% \\
	        110 &     &    0   &  1          &          & 88.08\% \\
	\hline 
	\end{array}

 
	
En soit, ce résultat n’est pas incohérent car la probabilité est quasi nulle. 
Cependant, nous injectons ces probabilités dans la fonction d'erreur du réseau et 
certaines d'entre elles contiennent des fonctions logarithmes qui en recevant une valeur nulle vont produire une erreur d'exécution.

Pour gérer ce problème, nous allons utiliser une deuxième astuce en appliquant directement la fonction *ln* sur la formule de la fonction *Softmax* : 

.. math::

   \ln(Softmax_i(X^\prime))=\ln\left(\frac{\exp({x^\prime}_i)}{\sum_{j}{\exp({x^\prime}_j)}}\right)
   
En développant cette expression, nous obtenons :

.. math::

	\ln(Softmax_i(X^\prime))=\ {x^\prime}_i-\ln{\left(\sum_{j}\exp{\left({x^\prime}_j\right)}\right)}
	
Les valeurs :math:`\exp({x^\prime}_j)` sont strictement positives et 
par conséquent le résultat du grand sigma est lui aussi positif strict.
Ainsi, le logarithmique ne reçoit jamais une valeur nulle ou négative et son évaluation n’est plus problématique.


Nous verrons plus tard, que la fonction d'erreur utilisée à la suite d'une fonction *Softmax* est souvent la fonction :

.. math::
	Cross\ Entropy\ Loss(p,icat)=\ -\ln(p_{icat})

Ainsi, vous pourrez parfois rencontrer dans les réseaux, le remplacement du  couple : fonction *Softmax* + fonction d'erreur *Cross Entropy Loss* par le couple fonction *Log Softmax* + fonction d'erreur *Negative Log Likelihood Loss* correspondant à la fonction *Cross Entropy Loss* privée de son logarithme : 

.. math::

	Negative\ Log\ Likelihood\ Loss (X,icat) =- x_{icat}
	
Il ne s'agit pas d'une nouvelle fonction d'erreur ou d'une nouvelle fonction *Softmax* mais de variantes offrant une meilleure stabilité numérique.